Merge libxenstat and xentop.

no pae by default

We cannot allow nested C functions. They create a stack
trampoline when their address is taken, which causes a
fault if the system implements NX/XD.

Signed-off-by: Keir Fraser <keir@xensource.com>

Apply Ross Mcilroy's balloon_dealloc_empty_page_range patch
and generally clean up the ballon driver a bunch.
Signed-off-by: Keir Fraser <keir@xensource.com>

merge?

Remove option for running block devices without grant-tables.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

No 'boot error' message if booting secondary vcpu succeeds.

Ensure that 64-bit get_user/put_user only transfer to
a 64-bit local variable. Some gcc versions have bugs
if this restriction isn't observed.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix out-of-source-tree build problem.
Signed-off-by: Jan Beulich <jbeulich@novell.com>

I noticed that an old problem is back (see below). The time command is
not showing the correct time (it's 3 sec in real time). The patch
attached restores the dropped line at the time of upgrading to 2.6.12.

Jun Nakajima

Ordering was broken in the course of separating XEN-overridden
sources from those getting used through symlink creation.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

When building in a tree with (the sparse trees and) the patches
stripped, a warning is issued by make, which the below patch
eliminates.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

Make grant-table dev_bus_addr really be an address, not a frame
number. Also get rid of GNTUNMAP_DEV_FROM_VIRT -- it makes little
sense and noone uses it.

Signed-off-by: Keir Fraser <keir@xensource.com>

fix logic of ballooning out to handle the dom0_min_mem parameter correctly
add an error message when having not enough memory

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Fix debug build.

Remove dead code from blkback.

Signed-off-by: Andrew Warfield <andrew.warfield@cl.cam.ac.uk>

merge?

Fix fallout from "Get rid of memory_t." checkin.
{get,put}_user of u64 items has to use u64 variables.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Fix dom0 memory allocation.
Signed-off-by: Keir Fraser <keir@xensource.com>

PAE fix to allow dom0 to be >4GB. PAE has made huge progress this week. I now kn
ow of no PAE specific outstanding issues. Go find some :-)
Signed-off-by: ian@xensource.com

Fix NORMAL_PT_UPDATE for PAE when page is not pinned.

Signed-off-by: Keir Fraser <keir@xensource.com>

Defining PAGE_SIZE as int broke x86/64. Revert that change.

Fix put_pte_flags() for Xen PAE.

Signed-off-by: Keir Fraser <keir@xensource.com>

Not ready for pae by default just yet. ;-)

Fix PAE boot.

Signed-off-by: Keir Fraser <keir@xensource.com>

I find at present "make uninstall" won't remove all installed files, for
example: /usr/libexec/xen/xc_restore. This may cause potential unclean
environment.

This patch add more lines in uninstall to remove all installed files by
"make uninstall".

Signed-off-by: Yongkang You <yongkang.you@intel.com>

We need to detect ioemu handled devices earlier and ignore them.

Testing in blkif.py is too late. The check should be in createDevices.

Signed-off-by: Arun Sharma <arun.sharma@intel.com>

Mini-os updated to use the new time interface.
Signed-off-by: Grzegorz Milos <gm281@cam.ac.uk>

Hopefully fix build with SLES9 compiler.
Signed-off-by: ian@xensource.com

Minor xenstat changes from Christian Limpach.

Local merge of two headed repo.

Fix broken 'xm sedf', fixed by Ross Mcilroy
Signed-off by: Stephan.Diestelhorst@{cl.cam.ac.uk, inf.tu-dresden.de}

merge.

Fix x86/64 build by defining correct vcpu_pickle().

merge?

Six the SWIOTLB. The bus range does need to be contiguous after
all as a range comparsion is used to determine if a given
dma address is within the swiotlb aperture.

Maybe we can do better sometime in the future (fast address
range comparison yet not require bus-contiguous aperture). But
reverting this morning's patch is fine for now.

Signed-off-by: Keir Fraser <keir@xensource.com>

merge?

Improve error paths and cleanup code.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Get rid of memory_t. Almost all uses should be unsigned long.
The few uses for a physical/machine address have been mostly
changed to u64.

Grant table code probably needs auditing for PAE correctness,
but at least the interface is now sound.

Signed-off-by: Keir Fraser <keir@xensource.com>

Simplify pagetable initialisation. Since swapper_pg_dir now
is the one allocated by the domain builder, we can be sure
it is below 4GB (essential for PAE).

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix many uses of machine addresses in XenLinux. Primarily
this fixes users of virt_to_machine/machine_to_virt to
use virt_to_mfn/mfn_to_virt where that is more appropriate.

This should be a big step to improved PAE stability.

Signed-off-by: Keir Fraser <keir@xensource.com>

Merge.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

This time, it's fixed.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

merge?

Correctly unmap ring page if using grant tables.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Unbreak the build in the non-CONFIG_SMP and x86_64 cases.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Get rid of some annoying debug messages.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Merge.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Fix suspend/resume for domains with devices which are in xenstore but have no xenbus aware driver.
Information about network devices is stored in xenstore.  Xenbus creates
device objects for these devices but the network driver doesn't support
finding devices over xenbus yet and thus these devices have no driver.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Add very rough xend support for xenbus block device setup.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix driver to work with updated probe driver.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Switch block device setup/teardown over to xenbus/xenstore.
Remove device probing support over the device channel.
g/c all the control message code.
Simplify and cleanup internal function calling code (explicit arguments
instead of passing structs around).
Also includes:
Changed "readonly" to "read-only". "backend" is still not hyphenated, but
that seems to be fairly common usage.
Block backends use xenbus_dev_error, making debugging nicer.
The block front end is told explicitly what domid to use to talk to the
backend. There's speculation that fake domid-like tokens may be given
for cluster purposes in future, so deriving from the backend dir name is
not guaranteed to work. Backends still derive front-end ids, using a
xenbus helper (xenbus_uuid_to_domid).
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

use "vbd" as driver name for blkfront devices, not "blkfront".
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Merge.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Add support for multiple devices when using grant tables.
Also better support non-transactional store updates.
Also remove some extra printks.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Switch block device setup/teardown over to xenbus/xenstore.
Remove device probing support over the device channel.
g/c all the control message code.
Simplify and cleanup internal function calling code (explicit arguments
instead of passing structs around).
Also includes:
Changed "readonly" to "read-only". "backend" is still not hyphenated, but
that seems to be fairly common usage.
Block backends use xenbus_dev_error, making debugging nicer.
The block front end is told explicitly what domid to use to talk to the
backend. There's speculation that fake domid-like tokens may be given
for cluster purposes in future, so deriving from the backend dir name is
not guaranteed to work. Backends still derive front-end ids, using a
xenbus helper (xenbus_uuid_to_domid).
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Tidy up a bit.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

The entire swiotlb aperture does not need to be contiguous.
Only individual aligned SEGSIZE blocks need to be contiguous.

Signed-off-by: Keir Fraser <keir@xensource.com>

By default, pre-reserve some memory in Xen that is not allocated
to domain 0 (1/16th available memory, up to 128MB maximum).
Also, extend dom0_mem boot parameter to accept negative values.
A negative value means "allocate all memory, minus the specified
amount".

Signed-off-by: Keir Fraser <keir@xensource.com>

Default unit for all Xen memory parameters is kilobytes.
Signed-off-by: Keir Fraser <keir@xensource.com>

The patch allows x86_64 SMP Xen/XenLinux (dom0) to run on relatively big
SMP machines.
I tested on an 8-way machine with 8GB. It looks stable as far as I did
sanity checks, such as an infinite loop of "make -j32"; it's very fast!.

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

This patch:

* adds a C-based security policy translation tool to Xen (secpol_xml2bin)
and removes the current Java
security policy translator (Java dependencies).  The C-based tool
integrates into the Xen source tree build
and install (using gnome libxml2 for XML parsing). See install.txt.

* introduces security labels and related tools. Users can now use
semantic-rich label names to put security-tags
on domains. See example.txt, policy.txt.

* moves the security configuration (currently ACM_USE_SECURITY_POLICY)
from xen/Rules.mk
into a separate top-level Security.mk file  (it is needed by the
tools/security and xen/acm).

Both xen/acm and tools/security are built during the Xen build process
only if ACM_USE_SECURITY_POLICY
is not ACM_NULL_POLICY (which is the default setting).

Signed-off-by Reiner Sailer <sailer@us.ibm.com>
Signed-off by Stefan Berger <stefanb@us.ibm.com>
Signed-off by Ray Valdez <rvaldez@us.ibm.com>

This patch provides a workaround for bugzilla #90 which shows up far too
often when creating and then destroying lots of domUs and dom0 is SMP.
Details are in the [1]bug.  With this patch, I now can create/destroy
domains in a tight loop for hours where previously every 3 to 10 cycles
would blow up.

1. http://bugzilla.xensource.com/bugzilla/show_bug.cgi?id=90

Signed-off-by: Ryan Harper <ryanh@us.ibm.com>

Proleptic xend bug fix for multi-sxp messages; stricly more robust than before.

Signed-off-by: Steven Hand <steven@xensource.com>

Remove support for xenbus driver subtypes since with the subtype field there's no fallback.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add support to xenbus_gather to scan for strings and return them in allocated memory.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Get rid of xenbus_uuid_to_domid - get the frontend id from the node.
We don't want to parse paths we read out of the store to _construct_
other paths and tie down the store layout for no good reason.
Also require the frontend path to exist and be valid before creating
the device.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Let dev_changed detect devices when a watch fires with a longer node name.
Also improve device cleanup when the dir for a while frontend domain
is removed.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Free memory returned from xenbus_directory call.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Don't free subtype field unconditionally.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Get device when we find it - fixes refcount leak and is correct.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Create devices for the xenbus-bus's.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Rename bus names from xenbus* to xen*.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Make probe less chatty.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Update probe code for backend layout.
Backend directories are of form backend/<type>/<frontend-uuid>/<id>.
This extra level makes an asymmetry with front ends (device/type/id) and
are too long to make nice bus-ids under Linux, but the code isn't too
horrible, and an OS which only wants to be a guest doesn't need to implement
it. It allows backends to calculate the front-end path directly, which
is a nice benefit.
Also: subtype matching is tightened: they must match exactly. That way a future
variant which requires a specific driver will not match current drivers.
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Make sure to cmpxchg entire pte on emulated ptwr path.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix emulated writable pagetable updates where access is
less than a full pte and operation requires cmpxchg.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix direct_remap_area_pages() to handle pagetables
above 4GB.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix __get_user() and friends to work correctly for
64-bit quantities on x86/32. Should fix writable
pagetables on PAE.

Signed-off-by: Keir Fraser <keir@xensource.com>

A really nasty workaround for a race.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Clean up bootmem initialisation for x86/64. Question still
remains over why boot fails if we try to free up the bottom
1MB of pseudophysical memory...

Signed-off-by: Keir Fraser <keir@xensource.com>

Actually make suspending SMP domUs work: the previous commit didn't
bring the other vcpus up correctly.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Fix Xen patches to Linux so that they use pfn_pte() and
pfn_pte_ma() constructors, rather than splicing together
ptes manually. Not only is this cleaner, it also ensures
that the NX/XD bit is safely masked off on systems that do
not support it.

Signed-off-by: Keir Fraser <keir@xensource.com>

Tiny formatting tweak in addition to previous changeset.

Clean up formatting of Xen crash messages.
Signed-off-by: Keir Fraser <keir@xensource.com>

Add SK98LIN driver to default -xen0 Linux configs.
Signed-off-by: ian@xensource.com

Make antispoof default to 'no' in network-script as the default in xend is 'no'. Having them different only causes confusion.

Signed-off-by: ian@xensoure.com

fail nicely when passing unknown option to xm list

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Fix range_straddles_boundary() check to exclude regions that
were allocated with xen_create_contiguous_region(). Such areas
do not require bounce buffers (swiotlb).

Signed-off-by: Keir Fraser <keir@xensource.com>

Enable IP_PNP support in 64bit domU (needed for xm ip= etc.)

Signed-off-by: James Bulpin <james@xensource.com>

Fix the SWIOTLB to correctly match on bus addresses.
Signed-off-by: Keir Fraser <keir@xensource.com>

fail domU creation if memory need couldn't be succeed after ballooning out dom0

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Enable MATCH_PHYSDEV netfilter support as a module.
Signed-off-by: iab@xensource.com

Fix e820 array stack overflow
I don't see the problem on machine that I typically use, but I found and
fixed the problem on a big machine. It was causing a stack overflow. If
you look at the current code, it's a bit dangerous, see => part. This
patch fixes it.
From: "Nakajima, Jun" <jun.nakajima@intel.com>
Signed-off-by: ian@xensource.com

We found machines with >32 E820 memory map entries, where Xen fails to
boot (but Linux does boot fine). The native Linux (both x86 and x86_86)
already has:

#define E820MAX 128             /* number of entries in E820MAP */

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

Fix vmalloc_fault() path for x86/64 XenLinux.
There may be a deeper underlying problem w.r.t pagetable
initialisation at start of day, but this simple fix is
a good workaround until we have time to investigate
properly.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix the skbuff allocator for multi-page buffers.
pci-dma.c still needs fixing to recognise contiguous
multi-page buffers.
Signed-off-by: Keir Fraser <keir@xensource.com>